
# 优化目标：
#     最大限度地减少深度学习损失函数的方法
#
# 优化挑战：
#     1. 局部最小值 - 如果在x处对应的f(x)值小于在x附近任意其他点的f(x)值
#     2. 鞍点 - 指函数的所有梯度都消失但既不是全局最小值也不是局部最小值的任何位置
#
# 梯度消失：
#     梯度消失可能会导致优化停滞，重参数化通常会有所帮助
#
# 凸性：
#     1. 凸集：
#         1.1 λa + (1 − λ)b ∈ X 当a, b ∈ X
#         1.2 假设X和Y是凸集，那么X ∩ Y也是凸集的
#         1.3 凸集的并集不一定是凸的
#     2. 凸函数：
#         如果对于所有x, x′ ∈ X和所有λ ∈ [0, 1]，函数f : X → R是凸的，我们可以得到 λf(x) + (1 − λ)f(x ′) ≥ f(λx + (1 − λ)x′).
#
# 詹森不等式：
#     凸函数的期望不小于期望的凸函数
#
# 凸函数的性质：
#     1. 局部极小值是全局极小值
#     2. 凸函数的下水平集是凸的
#     3. ，f为凸函数，当且仅当任意二次可微一维函数f : R n → R是凸的
#
# 约束：
#     1. 拉格朗日函数：至少近似地满足约束优化问题的方法
#     2. 惩罚：添加惩罚是确保近似满足约束的一种好方法
#     3. 投影：
#
#
